Sau năm 1955, Bảo Đại để bà Nam Phương ở nhà một mình với mấy người con khi đó đã lớn, mỗi người đi làm một nơi. Về sau, bà Nam Phương rời lâu đài Thorenc ở Cannes để về sống ở lâu đài Domain de la Perche ở Chabrignac, tỉnh Corrèze, vùng Nouvelle-Aquitaine cách Paris chừng bốn năm trăm cây số.

Ngôi nhà của bà có rừng bao quanh, gồm 32 phòng, 7 phòng tắm, 5 phòng khách. Về đời sống vật chất thì bà Nam Phương không lúc nào thiếu thốn khi sống ở xứ người. Tài sản riêng do gia đình Nguyễn Hữu Hào tậu cho bà gồm một chung cư lớn tại Neuilly và ở đại lộ Opera. Ngoài ra bà còn nhiều nhà đất ở bên xứ Maroc, Congo... Những bất động sản này bà đã chia cho các con mỗi đứa một phần riêng và chỉ giữ lại trang trại ở Charbrignac, gồm 160 mẫu đất với một đàn bò gần trăm con và một vườn hồng lúc nào cũng nở hoa. Nhà của bà ở cách biệt với những nhà dân ở vùng này, vì là làng quê nên mọi người ít có dịp giao thiệp với nhau. Và đã có lần bà Nam Phương ngỏ ý được trở về Việt Nam để được an tang bên cạnh hai mộ cha mẹ ở Đà Lạt nhưng Bảo Đại và các con không đồng ý.

Dân làng Chabrignac kể rằng, bà Nam Phương giàu có, nhưng sống trầm lặng. Bao nhiêu năm chỉ thấy cựu hoàng Bảo Đại về thăm Hoàng hậu mấy lần, lần được nhớ nhất là vào dịp lễ cưới của công chúa Phương Liên kết hôn với chàng trai người Bordeaux. Buồn nản vì tình cảm của mình, bà Nam Phương chỉ sống âm thầm trong ngôi nhà vắng vẻ. Họa hoằn bà mới về thăm Paris vài ngày. Có lẽ vui nhất là dịp nghỉ hè, các con mới có dịp về thăm bà.

Những năm sau này bà Nam Phương ít đi ra ngoài và gặp gỡ ai. Cũng có đôi khi bà Nam Phương đi Paris để thăm các con đang học và làm ăn ở đó. Và ngược lại những dịp hè thì các con có về đây thăm mẹ ở ít ngày cho bà đỡ buồn. Thời gian này bà bị bệnh tim nặng làm khó thở.